DNN的成功是由过度参数化网络概括的违反直觉能力驱动的,即使它们完全适合培训数据。实际上,测试误差通常会随着过度参数化的增加而继续减少,称为双重下降。这使从业者可以实例化大型模型,而不必担心过度合适。但是,尽管有好处,但先前的工作表明,过度参数会加剧偏见对少数族裔亚组。已经提出了几种公平约束的DNN培训方法来解决这一问题。在这里,我们对Mindiff进行了严格的研究,这是Tensorflow负责AI工具包中实施的公平约束培训程序,旨在实现机会平等。我们表明,尽管Mindiff改善了参数化不足的模型的公平性,但在过度参数化的制度中可能是无效的。这是因为一个具有零训练损失的过度合适模型在培训数据上是微不足道的,造成了“公平幻想”,因此可以关闭Mindiff的优化(这将适用于任何基于差异的措施,这些措施关心错误或准确性。它不适用于人口统计)。在指定的公平限制内,与参数过度的同行相比,参数化的Mindiff模型甚至可能具有较低的错误(尽管基线过度参数化模型的错误较低)。我们进一步表明,Mindiff优化对在参数不足的制度中的批处理大小非常敏感。因此,使用Mindiff的公平模型培训需要耗时的超参数搜索。最后,我们建议使用先前提出的正则化技术,即。 L2,与Mindiff结合使用的早期停止和洪水训练公平的参数化模型。
translated by 谷歌翻译